NewSQL: Масштабирование распределённых ACID-транзакций для глобальных приложений

В современном мире, управляемом данными, приложения требуют одновременно масштабируемости и согласованности данных. Традиционные реляционные базы данных, хотя и предоставляют строгие гарантии ACID (атомарность, согласованность, изолированность, долговечность), часто с трудом поддаются горизонтальному масштабированию. Базы данных NoSQL, с другой стороны, предлагают масштабируемость, но обычно жертвуют свойствами ACID в пользу производительности. Базы данных NewSQL появляются как промежуточное звено, стремясь объединить лучшее из обоих миров: масштабируемость и производительность NoSQL с гарантиями ACID традиционных СУБД.

Что такое NewSQL?

NewSQL — это не отдельная технология баз данных, а класс современных реляционных систем управления базами данных (СУБД), которые стремятся предоставить те же гарантии ACID, что и традиционные системы баз данных, при этом достигая масштабируемости систем NoSQL. Они разработаны для обработки высоконагруженных транзакций и больших объёмов данных, что делает их подходящими для современных распределённых приложений.

По сути, системы NewSQL спроектированы так, чтобы устранить ограничения традиционных СУБД при работе в больших масштабах. Они распределяют данные и обработку по нескольким узлам, обеспечивая горизонтальную масштабируемость, и при этом гарантируют, что транзакции обрабатываются надёжно и согласованно.

Ключевые характеристики баз данных NewSQL

• Соответствие ACID: Базы данных NewSQL придают первостепенное значение свойствам ACID для обеспечения целостности и согласованности данных. Это ключевое требование для приложений, которые обрабатывают конфиденциальные данные или требуют строгих гарантий транзакций, таких как финансовые системы или платформы электронной коммерции.
• Масштабируемость: Они спроектированы для горизонтального масштабирования путём распределения данных и обработки по нескольким узлам. Это позволяет им справляться с растущими рабочими нагрузками и объёмами данных без ущерба для производительности.
• SQL-интерфейс: Большинство баз данных NewSQL предоставляют SQL-совместимый интерфейс, что облегчает разработчикам миграцию существующих приложений или использование имеющихся навыков работы с SQL.
• Распределённая архитектура: Базы данных NewSQL обычно строятся на распределённой архитектуре, что позволяет им достигать высокой доступности и отказоустойчивости.
• Производительность: Они оптимизированы для высокопроизводительной обработки транзакций, часто используя такие методы, как хранение данных в оперативной памяти, распределённая обработка запросов и управление параллелизмом без блокировок.

Архитектурные подходы в NewSQL

При реализации баз данных NewSQL используется несколько архитектурных подходов. Эти подходы различаются тем, как они достигают масштабируемости и гарантий ACID.

1. Архитектура без разделения ресурсов (Shared-Nothing)

В архитектуре без разделения ресурсов (shared-nothing) каждый узел в кластере имеет свои собственные независимые ресурсы (ЦП, память, хранилище). Данные секционируются и распределяются по этим узлам. Эта архитектура обеспечивает превосходную масштабируемость, поскольку добавление новых узлов линейно увеличивает производительность системы. Примерами баз данных NewSQL, использующих архитектуру shared-nothing, являются Google Spanner и CockroachDB.

Пример: Представьте себе глобальную платформу электронной коммерции с пользователями по всему миру. Используя NewSQL базу данных с архитектурой shared-nothing, платформа может распределять свои данные по нескольким географически распределённым центрам обработки данных. Это обеспечивает низкую задержку для пользователей в разных регионах и высокую доступность в случае региональных сбоев.

2. Архитектура с общей памятью (Shared-Memory)

В архитектуре с общей памятью (shared-memory) все узлы в кластере используют одно и то же пространство памяти. Это обеспечивает быстрый доступ к данным и связь между узлами. Однако эта архитектура обычно ограничена в масштабируемости, поскольку общая память становится узким местом по мере увеличения числа узлов. Примерами баз данных (хотя и не строго NewSQL в чистом виде, но демонстрирующих схожие подходы к масштабированию транзакций), использующих эту архитектуру, являются некоторые кластеры баз данных в памяти.

3. Архитектура с общим диском (Shared-Disk)

В архитектуре с общим диском (shared-disk) все узлы в кластере используют одни и те же устройства хранения данных. Это упрощает управление данными и обеспечивает высокую доступность. Однако эта архитектура также может быть узким местом, поскольку все узлы должны обращаться к одному и тому же хранилищу. Некоторые традиционные СУБД при кластеризации можно рассматривать в более широком контексте масштабируемой обработки транзакций, даже если они не маркируются как NewSQL.

ACID-транзакции в распределённой среде

Поддержание свойств ACID в распределённой среде — сложная задача. Базы данных NewSQL используют различные методы для обеспечения согласованности и надёжности данных.

1. Двухфазная фиксация (2PC)

2PC — это широко используемый протокол для обеспечения атомарности на нескольких узлах. В 2PC узел-координатор координирует транзакцию между всеми участвующими узлами. Транзакция проходит в две фазы: фазу подготовки и фазу фиксации. Во время фазы подготовки каждый узел готовится к фиксации транзакции и сообщает об этом координатору. Если все узлы готовы, координатор даёт им команду на фиксацию. Если какой-либо узел не может подготовиться, координатор даёт всем узлам команду на отмену.

Проблема: 2PC может быть медленным и создавать единую точку отказа (координатора). Поэтому современные системы NewSQL часто предпочитают альтернативные протоколы.

2. Алгоритмы консенсуса Paxos и Raft

Paxos и Raft — это алгоритмы консенсуса, которые позволяют распределённой системе прийти к соглашению о едином значении даже при наличии сбоев. Эти алгоритмы часто используются в базах данных NewSQL для обеспечения согласованности данных и отказоустойчивости. Они представляют собой более надёжную и эффективную альтернативу 2PC.

Пример: CockroachDB использует Raft для репликации данных по нескольким узлам и обеспечения согласованности всех реплик. Это означает, что даже в случае сбоя одного узла система может продолжать работать без потери данных или несогласованности.

3. API TrueTime от Spanner

Google Spanner использует глобально распределённую, внешне согласованную систему отметок времени под названием TrueTime. TrueTime предоставляет гарантированную верхнюю границу погрешности часов, что позволяет Spanner достигать строгой согласованности в географически распределённых центрах обработки данных. Это даёт Spanner возможность выполнять глобально распределённые транзакции с низкой задержкой и высокой пропускной способностью.

Значение: TrueTime является важнейшим компонентом архитектуры Spanner, поскольку он позволяет базе данных поддерживать сериализуемость — самый строгий уровень изоляции — даже в распределённой среде.

Преимущества использования баз данных NewSQL

• Масштабируемость: Базы данных NewSQL могут горизонтально масштабироваться для обработки растущих рабочих нагрузок и объёмов данных.
• Соответствие ACID: Они предоставляют строгие гарантии ACID, обеспечивая целостность и согласованность данных.
• Производительность: Они оптимизированы для высокопроизводительной обработки транзакций.
• Отказоустойчивость: Они спроектированы как отказоустойчивые, что означает, что они могут продолжать работать даже в случае сбоя некоторых узлов.
• Совместимость с SQL: Большинство баз данных NewSQL предоставляют SQL-совместимый интерфейс, что облегчает миграцию существующих приложений.

Сценарии использования баз данных NewSQL

Базы данных NewSQL подходят для широкого круга приложений, требующих как масштабируемости, так и согласованности данных. Некоторые распространённые сценарии использования включают:

1. Финансовые приложения

Финансовые приложения, такие как банковские системы и платёжные процессоры, требуют строгих гарантий ACID для обеспечения точности и надёжности финансовых транзакций. Базы данных NewSQL могут обеспечить масштабируемость и производительность, необходимые для обработки высоконагруженных транзакций при сохранении целостности данных.

Пример: Глобальному платёжному шлюзу, обрабатывающему миллионы транзакций в день, нужна база данных, которая может справиться с большим объёмом трафика и обеспечить правильную обработку всех транзакций. База данных NewSQL может предоставить масштабируемость и гарантии ACID, необходимые для удовлетворения этих требований.

2. Платформы электронной коммерции

Платформам электронной коммерции необходимо обрабатывать большое количество одновременных пользователей и транзакций. Базы данных NewSQL могут обеспечить масштабируемость и производительность, необходимые для обработки этой нагрузки, гарантируя при этом правильную обработку заказов и точное обновление инвентаря.

Пример: Крупному интернет-магазину нужна база данных, способная выдерживать пиковые нагрузки во время праздничных сезонов. База данных NewSQL может масштабироваться для удовлетворения возросшего спроса и обеспечения безошибочной обработки всех заказов.

3. Игровые приложения

Массовые многопользовательские онлайн-игры (MMO) должны обрабатывать большое количество одновременных игроков и сложную игровую логику. Базы данных NewSQL могут обеспечить масштабируемость и производительность, необходимые для обработки этой нагрузки, при этом гарантируя, что состояние игры остаётся согласованным и игроки не могут мошенничать.

Пример: Популярной MMO-игре нужна база данных, которая может обрабатывать миллионы одновременных игроков и обеспечивать согласованность всех данных игроков. База данных NewSQL может предоставить масштабируемость и гарантии ACID, необходимые для удовлетворения этих требований.

4. Управление цепочками поставок

Современные цепочки поставок глобально распределены и требуют видимости в реальном времени уровней запасов, статуса заказов и отслеживания поставок. Базы данных NewSQL могут обеспечить масштабируемость и производительность, необходимые для обработки большого объёма данных, генерируемых системами управления цепочками поставок, при этом гарантируя, что данные точны и согласованы.

5. Платформы IoT (Интернет вещей)

Платформы IoT генерируют огромные объёмы данных с подключённых устройств. Базы данных NewSQL могут использоваться для хранения и анализа этих данных, предоставляя информацию о производительности устройств, моделях использования и потенциальных проблемах. Они также обеспечивают надёжное хранение и обработку критически важных данных IoT, таких как показания датчиков и команды управления.

Примеры баз данных NewSQL

Вот несколько примечательных примеров баз данных NewSQL:

• Google Spanner: Глобально распределённый, масштабируемый и строго согласованный сервис баз данных.
• CockroachDB: Распределённая SQL-база данных, построенная на транзакционном и строго согласованном хранилище "ключ-значение".
• TiDB: Распределённая SQL-база данных с открытым исходным кодом, которая поддерживает как рабочие нагрузки онлайн-обработки транзакций (OLTP), так и онлайн-аналитической обработки (OLAP).
• VoltDB: Горизонтально масштабируемая SQL-база данных в памяти, предназначенная для высокоскоростных данных и быстрых решений.
• NuoDB: Распределённая SQL-база данных, предназначенная для облачных сред.

Выбор подходящей базы данных NewSQL

Выбор подходящей базы данных NewSQL для вашего приложения зависит от нескольких факторов, включая:

• Требования к масштабируемости: Какой объём данных и трафика вам нужно обрабатывать?
• Требования к ACID: Насколько важны гарантии ACID для вашего приложения?
• Требования к производительности: Насколько быстро вам нужно обрабатывать транзакции?
• Среда развёртывания: Где вы будете развёртывать базу данных (например, локально, в облаке)?
• Совместимость с SQL: Насколько важна совместимость с SQL для ваших существующих приложений и команды разработчиков?
• Стоимость: Каков ваш бюджет на базу данных?

Важно тщательно оценить ваши требования и сравнить характеристики и производительность различных баз данных NewSQL, прежде чем принимать решение. Рассмотрите возможность проведения тестов производительности различных баз данных с вашей конкретной рабочей нагрузкой.

Будущее NewSQL

Базы данных NewSQL — это быстро развивающаяся технология. Поскольку объёмы данных и сложность приложений продолжают расти, спрос на масштабируемые и согласованные базы данных будет только увеличиваться. В ближайшие годы можно ожидать дальнейших инноваций в архитектурах, алгоритмах и инструментах NewSQL.

Некоторые потенциальные будущие тенденции в NewSQL включают:

• Больше облачно-ориентированных баз данных: Базы данных NewSQL будут всё чаще проектироваться для облачных сред, используя преимущества облачных технологий, таких как Kubernetes и бессерверные вычисления.
• Улучшенное геораспределение: Базы данных NewSQL станут ещё лучше справляться с географически распределёнными данными и обеспечивать низкую задержку доступа к данным из любой точки мира.
• Интеграция с машинным обучением: Базы данных NewSQL будут всё теснее интегрироваться с платформами машинного обучения, что позволит проводить аналитику в реальном времени и принимать решения на основе данных.
• Усиленная безопасность: Базы данных NewSQL будут включать более продвинутые функции безопасности для защиты конфиденциальных данных от несанкционированного доступа.

Заключение

Базы данных NewSQL предлагают убедительное решение для приложений, требующих как масштабируемости, так и согласованности данных. Объединяя лучшее из традиционных СУБД и баз данных NoSQL, NewSQL предоставляют мощную платформу для создания современных распределённых приложений. Поскольку спрос на масштабируемые и согласованные базы данных продолжает расти, NewSQL суждено играть всё более важную роль в будущем управления данными.

Независимо от того, создаёте ли вы финансовую систему, платформу электронной коммерции, игровое приложение или платформу IoT, базы данных NewSQL могут помочь вам справиться с проблемами масштаба и сложности, обеспечивая при этом целостность и надёжность ваших данных. Рассмотрите возможность изучения мира NewSQL, чтобы увидеть, какую пользу он может принести вашей организации.